La transición fundamental en computación de alto rendimiento implica pasar de un modelo de ejecución serial centrado en la CPU a un modelo desacoplado productor-consumidor donde la CPU gestiona la tubería mientras la GPU opera de forma independiente. La idea clave es que la GPU no está pensada para ser controlada como un dispositivo estrictamente síncrono; tratarla de esta manera crea un cuello de botella de tipo "espera y detente".

1. El ciclo de vida del flujo de trabajo

En una mentalidad asíncrona, el desarrollador no espera a que cada tarea termine. En su lugar, ellos asignan memoria, lanzan núcleos, y copian de vuelta resultados colocando solicitudes no bloqueantes en una cola de hardware.

2. Superar los cuellos de botella

Cuando el anfitrión se ve obligado a sincronizar después de cada operación, el intervalo de ejecución—el tiempo de viaje entre la CPU y la GPU—domina el rendimiento. Al utilizar la asincronía, la CPU continúa trabajando mientras la GPU procesa su flujo, maximizando la saturación del hardware.

$$\text{Tiempo total} = \max(\text{Trabajo de CPU}, \text{Trabajo de GPU}) + \text{Sobrecarga de sincronización}$$